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A residual error (101) is determined after neuronal 
network training has occurred. A backward error (102) is 
determined from the residual error. Artificial training data 
vectors are generated from a statistic random process with 
an underlying statistic distribution, wherein the respective 
backward error is considered for a neuronal network input (103, 
104). 



(57) 



Nach erfbtgtem Training eines ceuronaten Netzes wird 
ein Restfehler crmittelt (101). Aus dem Restfehler wird ein 
Ruckwartsfehler ermlttrit (102). KttnsUiche Trainlngsdaten- 
vektoren werden aus einem statistischen Zufaflsprozell gener- 
iert, dem eine staristischc VerteOung Eugrundeliegt, bei derder 
jcweilige Ruckwartsfehler fur einen Eingang des neuronalen 
Netzes berflcksichtigt wird (103, 104). 
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Beschreibung 

5 Verfahren und Vorrichtung zur rechnergestfltzten Generierung 
mindestens eines kunstlichen Trainingadatenvektors fdr ein 
neuronales Netz 

1, iflchniafihei: Hlntergnmd 

10 

Neuronale Netze lernen mit Hilfe von Trainingsdaten. Die 
Trainingadaten sind in vielen Anwendungsgebieten sehr 
verrauscht, beispielsweise bei der Modellierung von 
Finanzdaten wie Aktien- oder WShrungskursen . Somit erhalten 
15 die Trainingadaten zuffillige Storungen, die nichts mit der 
eigentlich zu modellierenden Systemdynamik zu tun haben. 

Durch die Approximationsf ahigkeit der neuronalen Netze kann 
aber auch die tranBiente Struktur dea zuf&lligen Rauschena 

20 gelernt werden. Dieaea PhSnomen wird als Obertrainieren des 
neuronalen Netzes bezeichnet. Durch ein ubertrainiertes 
neuronales Netz wird in sehr verrauachten Systemen der 
Lernvorgang des neuronalen Netzea erheblich behindert, da die 
Verallgemeinerungsf Shigkeit des neuronalen Netzea negativ 

25 beeinfluSt wird. 

Dieses Problem gewinnt in Anwendungsgebieten an Bedeutung, in 
denen nur eine geringe Anzahl von Trainingsdatenvektoren zur 
Adaption des neuronalen Netzea an die Anwendung, d.h. die zu 
3 0 modellierende, durch die Trainingsdatenvektoren 
represent ierte Funktion, verfugbar 1st. 

Vor alien in diesen Anwendungsgebieten, aber auch allgemein 
in einera Trainings verfahren eines neuronalen Netzes iat es 
35 vorteilhaft, zusStzliche Trainingsdatenvektoren kunstlich zu 
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generieren, urn somit eine grofiere Trainingsdatenmenge zu er- 
halten. 

2. Stand der S flgfenjjs 

5 Es ist bekannt, die Generierung der kiinstlichen Trainingsda- 
tenvektoren durch Verrauschen der verfugbaren Trainingsdateh- 
vektoren der Trainingsdatenmenge durchzufuhren. Es ist in 
diesem Zusaramenhang aus dem Dokument [1] bekannt, die Trai- 
ningsdatenmenge rait gaufif 6rtnigem Rauschen mit dem Mittelwert 
10 0 und einer Varianz o, die fur alle Eingange des neuronalen 
Netzes auf den gleichen Wert gesetzt wird, zu ermitteln. 

Aus (4] ist* es bekannt, Trainingsdaten durch Einfihrung zu- 
sStzlichen Rauschens zu generieren. Dabei ist es bekannt, die 
15 sogenannte Jackknif e-Prozedur einzusetzen. 

Dieses Veffahren weist jedoch einige Nachteile auf. 

Dadurch, dafi zur Generierung der zusatzlichen Trainingsdaten- 
20 vektoren als statistische Verteilung, die zur Generierung 
verwendet wird, ein gauSf ormiges Rauschen mit einer Varianz 
verwendet wird, die fur alle EingSnge des neuronalen Netzes 
auf den gleichen Wert gesetzt wird, werden Trainingsdatenvek- 
toren neu generiert, die keinerlei Aussage uber das zu model - 
25 lierende System enthalten. Die Trainingsdatenvektoren enthal- 
ten ferner keinerlei Information liber das tatsachliche, dem 
System zugrundeliegende Rauschen. Somit wird zwar die Trai- 
ningsdatenmenge vergr&Sert, diese muS aber nicht den Lernvor- 
gang unterstiitzen, da ein fest vorgegebenes Rauschen, das mit 
30 der eigentlichen Systemdynamik nichts zu tun hat, zum Trai- 
nieren des neuronalen Netzes verwendet wird. Damit kann es 
dann trotzdem zum Obertrainieren kommen. 

Grundlagen uber neuronale Netze sind beispielsweise aus dem 
35 Dokument [2] bekannt. 
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Grundlagen Qber Verwendung der neuronalen Netze in der Okono- 
mie sind beispielsweise aus dem Dokument [3] bekannt . 

3, KtirgbfiflchraUb"" ff Hft<r BEfiBfcffla 

5 

Somit liegt der Erfindung das Problem zugrunde; kQnstlieh 
neue Trainingsdatenvektoren fur ein neuronales Net 2 zu bil- 
den, wobei jedoch ein tibertrainieren des neuronalen Netzes 
vermieden wird. 

10 

Das Problem wird durch das Verf ahren gem&fc Patentanspruch 1 
sowie durch die Vorrichtung gem&S Patentanspruch 9 gelost. 

Bei dem Verf ahren wird nach dem Training des neuronalen Net- 
15 zes mit verfiigbaren Trainingsdatenvektoren einer Trainingsda- 
tenmenge ein Restfehler ermittelt. Aus dem Restfehler wird 
beispielsweise unter Verwendung eines Gradient enabstiegs- 
Verf ahren ein eingangsbezogener Rtickwartsfehler ermittelt. 
Die Ermittlung des Ruckwartsf ehlers entspricht der ublichen 
20 Vorgehensweise wShrend des Trainings eines neuronalen Netzes 
zur Adaption der einzelnen Gewichte des neuronalen Netzes . 
1st der eingangsbezogene Riickwartsf ehler ermittelt worden, 
wird unter Berucksichtigung des jeweiligen Ruckwartsf ehlers 
eine dem jeweiligen Eingang zugeordhete statistische Vertei- 
25 lung generiert, und der kunstliche Trainingsdatenvektor wird 
unter Berucksichtigung der jeweiligen statistischen Vertei- 
lung an den Eing&ngen des neuronalen Netzes erzeugt. 

Mit diesem Verfahren ist es moglich, zus&tzliche Trainingsda- 
30 tenvektoren zu generieren, die eine Information uber das neu- 
ronale Netz und die Struktur des neuronalen Netzes aktuell 
nach dem Training des neuronalen Netzes mit den verfugbaren 
Traindingsdatenvektoren enthalten. 

35 Dies fflhrt dazu, daS die kfinstlich erzeugten Trainingsdaten- 
vektoren von dem Ruckwartsf ehler, der nach dem Training des 
neuronalen Netzes noch existiert, abhSngig sind und somit von 
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der Performanz des neuronalen Netzes abh&ngen. Dies fuhrt da- 
zu, dafi die erzeugten Trainingsdatenvektoren Information uber 
das zu modellierende System enthalten. Auf diese Weise kann 
ein Ubertrainieren des neuronalen Netzes durch die zusatzli- 
5 chen Trainingsdatenvektoren vermieden werden. 

Die Vorrichtung gemafi Patentanspruch 9 weist eine Rechenein- 
heit auf, die derart eingerichtet ist, daS die oben beschrie- 
benen Verf ahrensschritte durchge fuhrt werden. 

10 

Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus 
den abMngigen Anspriichen. 

Es ist vorteilhaft, bei einer Online-Approximation des neuro- 
15 nalen Netzes, die auch als Online -Training bezeichnet wird, 
auch die jeweilige statistische Verteilung dem veranderten 
Trainingsdatensatz anzupassen. Dadurch wird das zu modellie- 
rende System noch genauer durch das neuronale Netz model - 
liert . 

20 

4. Kurze Ficrurenbeschreibung 

In den Figuren ist ein Ausfuhrungsbeispiel der Erfindung dar- 
gestellt, welches im weiteren naher erlfiutert wird. 

25 

Es zeigen 

Fig. 1 ein Ablaufdiagramm, in dem die einzelnen Ver- 

f ahrensschritte des Verfahrens dargestellt sind; 

30 

Fig. 2 eine Skizze, in der eine Rechneranordnung darge- 
stellt ist, mit der das Verfahren durchgefuhrt 
werden kann. 



35 



5. Ficpirenbespfrraibunq 
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In Fig. 1 aind die einzelnen Verf ahrensschritte des Verfah- 
rens dargestellt. 

in einem ersten Schritt (101) wird nach abgeschlossenem Trai- 
5 ning des neuronalen Netzes NN mit einer beliebigen Anzahl von 
Trainingsdatenvektoren TDVi einer Trainingsdatenmenge TDM von 
einem Rechner R ein Restfehler RE ermittelt. 

Der Restfehler RE wird beispielsweise bei m Trainingsdaten- 
10 vektoren TDV mit den Trainingsdatenvektoren TDV zugeordneten 
Sollwerten t^, wobei mit einem Index i jeweils der Trainings- 
datenvektor TDVi eindeutig gekennzeichnet wird, auf folgende 
Weise ermittelt: 

15 RE= Ziti-Yi) 2 <«• 
i=l 

Es kann jedoch selbstverstSndliche jede beliebige andere Vor- 
schrift zur Bildung des Restfehlers RE nach dem Training des 
neuronalen Netzes NN verwendet werden. 

20 

Nach Ermittlung des Restfehlers wird ein Ruckwartsfehler RPj 
ermittelt (102) . Die Bestimmung des Ruckw&rtsf ehlers RF kann 
beispielsweise unter Verwendung eines Gradientenabstiegs- 
Verfahrens nach den Eingangssignalen der neuronalen Netze NN 
25 erfolgen. 

Im weiteren wird folgende Nomenklatur far den Trainingsdaten- 
vektor TDVi, sowie die Eingangsdaten des neuronalen Netzes 
NN, die sich aus den Trainingsdatenvektoren TDVi und einem 
30 Rauschtermvektor e ergeben, verwendet: 

Trainingsdatenvektor TDVi : x « (x^ , — , Xj , — , x n ) 
Rauschtermvektor: e = (e^, . . . , e j , . - . , e n ) 
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Eingangsdatenvektor : 2 - (x^+ei, ... * x j +e j • ■ • ■ * x n* e n> 

Mit n wird eine Anzahl von Komponenten der Trainingsdatenvek- 
toren TDVi, der Rauschtermvektoren e bzw. der Eingangsdaten- 
5 vektoren z bezeichnet. 

Der Ruckwartsfehler RFj wird fur jeden Eingang j des neurona- 
len Netzes NN individuell ermittelt, wobei mit eihem Index j 
jeweils eine Komponente des Eingangsdatenvektors z. bzw. ein 
10 Eingang des neuronalen Netzes NN eindeutig bezeichnet wird, . 

Dies erfolgt beispielsweise nach detn bekannten Gradientenab- 
stiegs-Verfahren zum Trainieren des neuronalen Netzes NN. So- 
rait ergibt sich der Ruckwartsfehler RF des Eingangsdatenvek- 
15 tors z aus den jeweiligen partiellen Ableitungen des Restfeh- 
lers RE nach den einzelnen Eingangssignalen Zj . 

ggt 

RFj = — r- (2) ■ 

*$ 

20 Mit dem Symbol t wird jeweils ein Zeitpunkt eindeutig gekenn 
zeichnet, zu dem die Ermittlung des RuckwSrtsfehlers RFj er- 
folgt. 

Unter- Berucksichtigung des Ruckwartsf ehlers RFj wird nun in 
25 einem dritten Schritt (103) eine statistische Verteilung Sj 
fur jeden Eingang j des neuronalen Netzes NN gebildet. 

Als statistische Verteilung Sj kann allgemein jede beliebige 
statistische Verteilung zur Beschreibung eines Zuf allsprozes 
30 ses verwendet werden. 

Im folgenden werden zur einfacheren Darstellung jedoch nur 
eine uni forme statistische Verteilung und eine gauSfflrmige 
statistische Verteilung Sj n&her erl&utert. 
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Fur die viniforme Verteilung ergibt sich eine uniforme Vertei 
lungsbreite sj beispielsweise nach folgender Vorschrift: 



- - T 



as? 



dzj 



(3) 



Der Rauschterm ej t , der zur Bildung mindestens eines kttnstli- 
chen Trainingsdatenvektors KTDV verwendet wird, liegt im Be- 
reich des Intervalls: 



10 e. 



(4) 



Bei einer gaufiformigen Verteilung ergibt sich die Rauschbrei- 



te Sj nach der f olgenden Vorschrift : 



25 



dE* 

1*1 1 



<5) . 



Der Rauschterm e-jt ergibt sich fur diesen Beispielsfall nach 
folgender Vorschrift : 



20 e. 



(6) . 



Mit 



einem 
net . 



N^0,^s|^ wird ein normal verteilter Zuf allspro2e£ mit 
Mittelwert 0 und der Standardabweichung Jet bezeich- 



Unter Verwendung der jeweiligen statistischen Verteilung Sj 
wird der mindestens eine kiinstliche Trainingsdatenvektor KTDV 
generiert (104) . 
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Anschaulich bedeutet dies, daS der kOnstliche TrainingBdaten- 
vektor KTDV durch den jeweils durch die statistische Vertei- 
lung Sj beschriebenen ZufallsprozeB generiert wird. 

5 Durch diese Vorgehensweise haben die kunstlichen Trainingsda- 
tenvektoren KTDV statistisch die gleichen Eigenschaf ten wie 
die original verfugbaren Trainingsdatenvektoren TDVi. 

Dies kann durch Verrauschen mit einem einheitlichen 
10 RauschprozeS, wie dieser aus dem Dokument [1] bekannt ist, 
nicht erreicht werden. 

Anschaulich l&St sich das Verfahren f olgendermaSen beschrei- 
ben. Die Eingangsdaten, represent iert durch die original ver- 
15 fugbaren Trainingsdatenvektoren TDVi, werden mit einem Zu- 
fallsprozefi verrauscht, der fur jeden Eingang abhangig ist 
von der jeweiligen Gradienten-Fehlerfunktion nach den Ein- 
gstngssignalen. 

20 Die jeweilige Rauschbreite kann anschaulich folgenderma- 
Sen interpretiert werden: 

- Kleine Werte von s| werden durch Eingange erzeugt, die ei- 
ne gute Abbildung auf die Trainingsdaten erzeugen. 

25 

- Kleine Werte der Rauschbreite k&nnen aber auch auf un- 
wichtige, fur das Training des neuronalen Netzes NN nicht re- 
levante Eingange hinweisen. 

30 In beiden Fallen ist es im Sinne der Aufgabe, daS kein oder 
nur wenig Rauschen zu den ursprflnglich vorhandenen Trainings- 
datenvektoren TDVi hinzugefugt wird. 

- GroSe Werte der Rauschbreite sj deuten darauf hin, dafi der 
35 Eingang j erhebliche Bedeutung aufweist, aber das neuronale 
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Netz NN bisher nicht in der Lage ist, eine adSquate Abbildung 
zu lemen. 

- Rauschen auf EingSngen mit einer grofien Rauschbreite Sj 
5 "versteift" das neuronale Netz NN, wodurch ein Obertrainieren 
verhindert wird, was zu einer besseren Verallgemeinerungsf a- 
higkeit des neuronalen Netzes NN fHhrt. 

Dieses Verfahren kann besonders vorteilhaft in Anwendungssi- 
10 tuationen verwendet werden, in denen nur eine relativ geringe 
Anzahl von Trainingsdatenvektoren TDVi zum Trainieren des 
neuronalen Netzes NN verfugbar ist. 

Durch das Verfahren kann die Trainingsdatenmenge TDM kunst- 
15 lich erheblich erweitert werden zu einer erweiterten Trai- 
ningsdatenmenge KTDM, ohne die eigentliche Systemdynamik zu 
verfalschen, da die statistischen Eigenschaf ten der Trai- 
ningsdatenmenge TDM auch in den kunstlichen Trainingsdaten- 
vektoren KTDV enthalten sind. 

20 

Eine typische Anwendungs situation des Verfahrens liegt in der 
Analyse von Finanzmarkten, beispielsweise von Aktienm&rkten 
oder auch Wertpapiermarkten. 

25 Wird zum Trainieren des neuronalen Netzes NN ein sog. Online- 
Lernverfahren eingesetzt, bei dem wahrend der Generalisie- 
rungsphase des neuronalen Netzes NN weitere Trainingsdaten- 
vektoren TDV ermittelt werden, mit denen das neuronale Netz 
NN in der General is ierungsphase weiter trainiert wird, so ist 

30 es in einer Weiterbildung des Verfahrens vorgesehen, abhSngig 
von der Anderung der Trainingsdatenmenge TDM, die durch die 
Trainingsdatenvektoren TDVi gebildet wird, auch die statisti- 
schen Verteilungen Sj anzupassen. Dies kann beispielsweise 
fur eine uni forme Verteilung nach folgender Vorschrift erfol- 

35 gen: 
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,t+l = 



= (1 - a) • sr + a 



(7) . 



Ffcr eine gauSfSrtnige statistische Verteilung Sj kann bei- 
spielsweise folgende Adaptionsvorschrift eingeeetzt werden: 



Uj +1 ) 2 =d-a)-(sj) 2 + a 



(8) . 



Mit a wird ein Adapt ions faktor bezeichnet. 



lb Es hat sich als vorteilhaft herausgestellt , als Wert fur den 
Adapt ions faktor a den Kehrwert der Anzahl der Trainingsdaten- 
vektoren TDVi zu verwenden. 
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Im Rahmen dieses Dokumentes wurden folgende Verof f entlichun- 
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ISBN 0-19-853864-2, S. 346 - 349, 1994 

[2] G. Deco und D: Obradovic, An Information-Theoretic 

Approach to Neural Computing, Springer Verlag, New York, 
USA, ISBN 0-387-94666-7, S. 23 - 37, 1996 

[3] H. Zimmermann und Rehkugler, Neuronale Netze in 
der Okonomie, Kapitel 1, Neuronale Netze als 
Entscheidungskalkul , Vahlen Verlag, Munchen, 
ISBN 3-8006-1871-0, S. 3 - 20, 1994 

[4] L. Holmstr6m und P. Koistinen, Using Additive Noise in 
Back- Propagation Training, IEEE Transactions on Neural 
Networks, Vol. 3, No. I, S. 24 - 38, Januar 1992 
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Patentansprflche 

1. Verfahren zur rechnergestdtzten Generierung mindestens ei- 
nes kiinstlichen Trainingsdatenvektora fur ein Neuronales Netz 

5 (NN) , 

- bei dem ein Restfehler (RE) 'nach einem Training des Neuro- 
nalen Netzes (NN) mit Trainingsdatenvektoren (TDVi) einer 
Trainingsdatenmenge (TDM) erraittelt wird (101) , 

- bei dem aus dem Restfehler (RE) fflr mindestens einen Ein- 
10 gang (j) des Neuronalen Netzes (NN) ein Ruckwirtsf ehler (RFj) 

ermittelt wird (102), 

- bei dem jeweils eine dem Eingang (j) zugeordnete statist!- 
sche Verteilung (Sj) generiert wird, die von der GrdSe des 
jeweiligen RtickwSrtsf ehlers (RFj ) abhSngig ist (103), 

15 - bei dem der kunstliche Trainingsdatenvektor generiert wird 
unter jeweiliger Verwendung der einem Eingang (j) zugeordne- 
ten statistischen Verteilung (Sj) (104). 

2. Verfahren nach Anspruch 1, 

20 bei dem der Riickwartsf ehler (RFj) mit einem Gradientenab- 
stiegsverf ahren ermittelt wird. 

3. Verfahren nach Anspruch 2 f 

bei dem das Gradientenabstiegeverf ahren mit einem Backpropa- 
25 gation-Verfahren realisiert wird, 

4. Verfahren nach einem der Ansprtiche 1 bis 3, 

bei dem die statistische Verteilung (Sj) durch eine uniforme 
Verteilung gebildet wird, wobei eine Verteilungsbreite der 
30 uniformen Verteilung von dem Riickwartsf ehler (RFj) abh&ngig 
ist. 

5. Verfahren nach einem der Ansprilche 1 bis 3, 

bei dem die statistische Verteilung (Sj) durch eine gauSf6r- 
35 mige Verteilung gebildet wird, wobei eine Verteilungsbreite 
der gauBffirmigen Verteilung von dem RttckwiirtBf ehler (RFj). ab 
hSngig ist. 
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6. verfahren nach Anspruch 4 oder 5, 

bei dem bei einer Online -Approximation des Neuronalen Netzes 
(NN> nach einer beliebigen Anzahl neuer Trainingsdatenvekto- 
5 ren (TDVi) die statistische Verteilung (Sj) an einen neu er- 
mittelten Riiekwartsfehler angepaSt wird. 

7. Verfahren nach einem der Anspruche 1 bis 6 eingesetzt zur 
Modellierung einer nichtlinearen Funktion, die mit einer ge- 

10 ringen Anzahl von Trainingsdatenvektoren beschrieben wird. 

8. Verfahren nach einem der Anspruche 1 bis 6 eingesetzt in 
der Analyse eines Finanzmarktes . 

15 9. Vorrichtung zur rechnergestutzten Generierung mindestens 
eines kunstlichen Trainingsdatenvektors fur ein Neuronales 
Netz (NN) , 

mit einer Recheneinheit , die derart eingerichtet ist, daS 

- ein Restfehler (RE) nach einem Training des Neuronalen Net- 
20 zes (NN) mit Trainingsdatenvektoren (TDVi) einer Trainingsda- 

tenmenge (TDM) ermittelt wird (101) , 

- aus dem Restfehler (RE) fur mindestens einen Eingang (j) 
des Neuronalen Netzes (NN) ein RiickwartBfehler (RFj) ermit- 
telt wird (102) , 

25 - jeweils eine dem Eingang (j) zugeordnete statistische Ver- 
teilung (Sj) generiert wird, die von der Gr66e des jeweiligen 
Ruckwartsfehlers (RFj) abhangig ist (103), 

- der kiinstliche Trainingsdatenvektor generiert wird unter 
jeweiliger Verwendung der einem Eingang (j) zugeordneten sta- 

30 tistischen Verteilung (Sj) (104) . 

10. Vorrichtung nach Anspruch 9, 

bei der die Recheneinheit derart eingerichtet ist, daS der 
Ruckwartsfehler (RFj) mit einem Gradientenabstiegsverfahren 
35 ermittelt wird. 



11. Vorrichtung nach Anspruch 9 oder 10, 
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bei der die Recheneinheit derart eingerichtet ist, daS die 
statistische Verteilung (Sj) durch eine uniforme Verteilung 
gebildet wird, wobei eine Verteilungsbreite der uniformen 
Verteilung von dem- RfickwSrtsf ehler (RPj) abhSngig ist. 

5 

12. Vorrichtung nach einem der Anspriiche 9 bis 11, 

bei der die Recheneinheit derart eingerichtet ist, dafi die 
statistische Verteilung (Sj) durch eine gauSfflrraige Vertei- 
lung gebildet wird r wobei eine Verteilungsbreite der gauBfftr- 
10 migen Verteilung von dem Rilckwartsf ehler (RFj) abhSngig ist. 

13. Vorrichtung nach Anspruch 11 Oder 12, 

♦ bei der die Recheneinheit derart eingerichtet ist, daS bei 
einer Online -Approximation des Neuronalen Netzes (NN) nach 
15 einer beliebigen Anzahl neuer Training sdatenvektoren (TDVi) 
die statistische Verteilung (Sj) an einen neu ermittelten 
RuckwSrtsf ehler angepafit wird. 

14 . Vorrichtung nach einem der Anspriiche 9 bis 13 eingesetzt 
20 zur Modellierung einer nichtlinearen Funktion f die mit einer 

geringen Anzahl von Trainingsdatenvektoren beschrieben wird. 

15. Vorrichtung nach einem der Anspriiche 9 bis 13 eingesetzt 
in der Analyse eines Finanzmarktes . 
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ErmKtlung eines Restfehlers 
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103- 



Ermittlung eines ROckwartsfehlers 
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Bildung einer statistischen Verteiiung 
fur jeden Eingang abhangig von dem 
Ruckwartsfehler des jeweiligen 
Eingangs 



104 



> Generierung mlndestens eines 
kunstlichen Trainingsdatenvektors 
unter Verwendung der statistischen 
Verteiiung 
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